Het verhaal van dit kasteel is ontegensprekelijk verbonden met de aanwezigheid van de Schelde, en begint bij de Romeinse periode. Volgens de overlevering zou er toen op de plaats van de huidige kasteelsite een ronde wacht- of uitkijktoren zijn gebouwd in de Scheldemeander. Tijdens de 9de en 10de eeuw richtte men er een feodale burcht op als verdediging tegen de invallen van de Noormannen. Enkele funderingen en muurdelen uit de 11de eeuw bleven bewaart. Nadien deed het gebouw deinst als verblijfplaats van de heren van Bornem. Toen de Scheldebedding zich verplaatste kwam het kasteel aan een dode arm te liggen. Het strategisch belang van de burcht verminderde hierdoor en ook het hart van de gemeente werd niet langer bereikbaar langs het water.
Met de komst van de Spaanse edelman Pedro Coloma, die het domein aankocht in 1586, begon een nieuw hoofdstuk voor de geschiedenis van Bornem en die van het kasteel. Tijdens de 17de eeuw had het nieuwe renaissancekasteel veel te lijden onder oorlogsgeweld. De oude centrale burchttoren werd in 1687 gesloopt.
Sinds 1780 is het domein eigendom van de familie de Marnix. Graaf Ferdinand Jozef liet in 1880 het bouwvallig geworden slot van Pedro Coloma slopen. Hendrik Beyaert maakte de plannen voor de volledige verbouwing van het kasteel met bijgebouwen, die na de dood van Beyaert werden voltooid door E. Janlet. In 1894 herrees het huidige massief aandoende kasteel dat dubbel omgracht is en aansluiting vindt bij de neogotiek. Het interieur beschikt over een rijke verzameling kunstschatten zoals schilderijen, meubelen, kantwerk en Chinees porselein. De gerestaureerde bibliotheek bevat ondermeer een fraaie collectie handgeschreven boeken. De toegangsbrug met twee wachttorentjes dateert van 1895. De bijgebouwen, in baksteen, zijn gelegen binnen de eerste omgrachting en vormen als het ware een minidorpje. Ze zijn momenteel ingericht als museum voor koetsen en attributen voor het optuigen van paarden.